#structured pruning

3 篇

Dense Structural Compression of Transformers via Gauge-Correct Channel Removal

通过规范校正通道移除实现 Transformer 稠密结构化压缩

🧭 训练期结构化压缩与架构搜索 ★ 深度解读

Université d’Artois, CNRS, CRIL UMR 8188, Lens, France

训练期用对称 group-lasso 惩罚解决 gauge 自由度，在保留 dense tensor 下动态压缩 Transformer，最高 255 倍 FMA 压缩且精度不降

📌 工作参考价值（4 点）

部署推荐/广告 Transformer 时，可优先考虑训练期自适应压缩而非后剪枝：论文证明同样的 utility 度量在后剪枝上失败或显著变差，持续压缩压力会促使网络学到更高效的表征，而不仅删除冗余。
如果业务模型含 SwiGLU MLP、attention 等 gauge-connected 结构，可借鉴 additive symmetric group-lasso 惩罚：同时对两侧 factor 做 Frobenius-norm 惩罚，避免直接惩罚 product norm 导致的梯度消失和不稳定；按每通道实际 FMA/参数规模校准 penalty，能把「效用/算力」统一到同一尺度。
工程上实现物理 channel removal 而非 mask 稀疏：用 gauge Sinkhorn 先平衡、再 trust-drop 移除整 slice，缩小后的 dense tensor 在 GPU 上保持高吞吐，减少稀疏算子低效；这适合做粗粒度 tower 压缩或小规模重训模型。
自适应 ρ 由 loss target 驱动压缩强度，实现较平滑的「先达标再压缩」过程，可作为业务中自动搜架构、控制性能下限的参考；但该理论目前只在 <150M FMA 从零训练任务上验证，迁移到大模型或预训练权重需谨慎。

Training | 2026-09-07 | stat.ML | score 8/10

WIDE：Token 级动态宽度剪枝实现自适应 LLM 推理加速

🧭 LLM 动态剪枝 · 推理加速

Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo · Munich Center for Machine Learning, LMU Munich

首个端到端可微分的 token 级动态宽度剪枝框架，支持预填充与解码场景，细粒度分配注意力头组与 FFN 通道组

📌 工作参考价值（4 点）

在线 LLM 推理降本：在电商搜索的 query 理解、商品描述生成、RAG 检索等环节部署 LLM 时，可将 WIDE 的 token 级动态宽度剪枝迁移到自有模型中，按 token 难度动态分配算力，显著降低延迟与成本。
两阶段训练策略复用：先通过可微分掩码学习 token-wise 稀疏模式，再冻结掩码进行微调，该流程可应用于自有 Transformer 模型，无需大量校准数据即能保持精度。
细粒度结构剪枝方案：将动态剪枝从层级下推到注意力头组和 FFN 通道组，相比粗粒度弃层更细粒度，可模仿该分组设计，在推荐模型的 Transformer 层中实现更柔性的算力分配。
剪枝-内核算子协同设计：提出的 mask 重排序、block 级跳过、intra-block 跳过等工程化加速技巧，可作为部署端优化参考，有效将动态稀疏转化为实际加速。

LLM | 2026-07-30 | cs.LG | score 7/10

TMP：大规模图像生成与编辑的树结构混合剪枝框架

🧭 大规模图像生成模型的结构化剪枝与优化

Multimodal Model Department, Tencent

首个树结构混合策略剪枝框架，统一 MoE 和 DiT 架构，将 80B 混元图像压缩至 20B（75%），质量损失有限，实现单卡推理

📌 工作参考价值（4 点）

Other | 2026-06-25 | cs.CV | score 7/10